Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation
泰勒校准：混合线性注意力蒸馏的原则性初始化
🧭 高效 LLM 架构的蒸馏初始化
The University of Sydney · Together AI · University of California, Berkeley · The University of Texas at Austin · Microsoft
利用泰勒展开匹配教师注意力统计量，让混合线性注意力学生初始化更好，节省 4.9-9.2 倍训练代价
📌 工作参考价值（4 点）
- 电商推荐场景的用户行为序列 Transformer 可部分替换为 Gated DeltaNet，并用 Taylor-Calibrate 初始化，无需重训即可获得低延迟推理与更小 KV cache。
- 知识蒸馏时，可直接借鉴定量匹配教师注意力的初始化策略，避免学生早期不稳定的动态重建，加速推荐大模型压缩。
- Agent 的长期记忆模块若使用线性注意力，可复用泰勒统计初始化思想，用少量数据对齐教师记忆读写门控，提升记忆一致性。
- 方法仅需少量校准数据、无反向传播，可在线快速将预训练推荐模型转为高效推理架构，大幅降低工程上线成本。